Al igual que el ANOVA y las Correlaciones, la Regresión lineal se basa en una relación LINEAL, pero entre una variable dependiente y una o varias variables independientes.

Busca la relación entre dos variables numéricas, pero tratando de predecir una en función de la otra, es decir, predecir o estimar la variable dependiente a partir de la variable independiente.

El concepto original de Regresión fue introducido por primera vez por Sir Francis Galton a finales del siglo 19, haciendo estudios poblacionales sobre la talla

Actualmente, el significado de regresión en Estadística, equivale en general al término función en matemáticas, es decir, dado el valor de una variable X, le corresponde un valor de la variable Y.

Esta relación o función lineal, se calcula a partir de un procedimiento llamado rectas de mejor ajuste, con una técnica llamada mímimos cuadrados, originalmente propuesto por Carl Friedrich Gauss. Es decir, la idea es generar una “recta” que mejor se aproxime a los datos de acuerdo con el criterio de mínimo error cuadrático.

¿Como se calculan o se obtienen los coeficientes?

\[b = \frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^{n}(x_i-\bar{x})^2}\]

\[a = \bar{y}-(b\bar{x})\]

El método de los mínimos cuadrados consiste en hacer un modelo de regresión minimizando la suma de los cuadrados de los errores. Por lo tanto, el criterio de los mínimos cuadrados se basa en minimizar la siguiente expresión:

\[[MIN] \sum_{i=1}^{n}e_i^2=[MIN]\sum_{i=1}^{n}(y_i-\bar{y})^2=[MIN]\sum_{i=1}^{n}(y_i-a-bx_i)^2\]

El cuadrado de un error es el cuadrado de un residuo, por lo tanto, el cuadrado de un error es igual a la diferencia entre el valor real y el valor ajustado por el modelo de regresión elevado a la dos.

Por eso el criterio de los mínimos cuadrados también se llama criterio del mínimo error cuadrático.

Los modelos de Regresión nos permiten establecer estimaciones o predicciones de determinados valores, con cierta confiabilidad o certeza.

En el análisis de regresión se realizan dos operaciones principales:

1. Obtener una Ecuación que represente la relación entre las variables (ecuación de regresión) y obtener la línea de regresión dada por esta ecuación. (pueden ser lineales o no)

2. Estimar una variable llamada variable Dependiente o Respuesta, a partir de otra variable o grupo de variables llamadas variables Independientes o Explicativas.

Algunos ejemplos de Regresión en Antropología Física:

• Estimar el peso de una persona a partir de la Talla o Estatura
• Estimar la estatura de un individuo a partir de la magnitud de una estructura ósea
• Estimar la masa grasa a partir de pliegues cutáneos
• Estimar la edad a partir de huesos de la mano y muñeca, rodilla, femur, codo, tobillo, hombro, etc
• Estimar el sexo a partir de huesos de La pelvis, cráneo y mandíbula, entre otros. (regresion logística)

• Regresión lineal simple –> \(\bar{Y}=a+bX\)
• Regresión lineal múltiple –> \(\bar{Y}=a+b_1X_1+b_2X_2+...+b_nX_n\)
• Rgresión no lineal –> Exp: \(\bar{Y}=a*e^{bX}\) , Potencia: \(\bar{Y}=a*X^{b}\) , cuadrático: \(\bar{Y}=a+b_1X+b_2X^2\)
• Series temporales –> Las series cronológicas son aquellas en que una de las variables en estudio es el tiempo

El modelo de regresión asume ciertos supuestos o condiciones que deben ser tomados en consideración antes de asignarle un valor predictivo

Estos supuestos tienen que ver con la distribución de los residuales Distinguimos tres supuestos principales:

1. Normalidad de los residuales
2. Homocedasticidad de los residuales
3. Independencia de los residuales (o no autocorrelación)

1.- Los residuales deben distribuirse normalmente

Para facilitar la estimación del modelo de regresión es exigible la normalidad de la distribución de los errores.

Se pueden aplicar pruebas de normalidad a la distribución de los residuales, tales como K-S o Shapiro-Wilk. Sin embargo, una alternativa bastante utilizada para este caso es la prueba de Jarque-Bera.

La Prueba de Jarque-Bera parte del hecho de que una distribución normal tiene coeficiente de asimetría igual a 0 y Curtosis igual a 3. Estos dos elementos se miden a partir de los residuos del modelo lineal.

Tambien suelen usarse los gráfico Q-Q Plots o histogramas

En caso de rechazar la normalidad, esta se puede corregir, realizando transformaciones fundamentalmente a la variable dependiente.

Una de las transformaciones más usadas es la Transformación de Box-Cox. Esta es una transformación potencial que corrige la asimetría de una variable, varianzas diferentes o la no linealidad entre variables. En consecuencia, resulta muy útil para transformar una variable y obtener una nueva que siga una distribución normal.

2.- Debe existir homocedasticidad o homogeneidad de las varianzas

El supuesto de homocedasticidad exige que para todo el recorrido de la variable X la varianza del error sea constante, por tanto debe existir homogeneidad de las varianzas de los residuos

Para estos casos se aplica el Test de Breusch-Pagan

Cómo corregir la heterocedasticidad en caso que sea detectada:

1. Transformar la variable dependiente: Una forma de corregir la heterocedasticidad es transformar la variable dependiente, por ejemplo usando el log.

2. Redefinir la variable dependiente: Otra forma de corregir la heterocedasticidad es redefinir la variable dependiente. Una forma habitual de hacerlo es utilizar una tasa para la variable dependiente, en lugar del valor bruto.

3. Utilizar regresión ponderada: Otra forma de corregir la heterocedasticidad es utilizar la regresión ponderada. Este tipo de regresión asigna un peso a cada punto de datos en función de la varianza de su valor ajustado

3.- No debe existir autocorrelación entre los residuales

En la regresión lineal y no lineal, se supone que los residuos son independientes unos de otros (no están correlacionados).

Si se viola el supuesto de independencia, algunos resultados de ajustes de modelos pudieran no ser fiables. Por ejemplo, una correlación positiva entre los términos de error tiende a inflar los valores t de los coeficientes, haciendo que los predictores parezcan significativos cuando pudieran no serlo.

Para estos casos se usa el test de autocorrelation Durbin-Watson

En casos que se identifique positivamente la autocorrelación, podemos corregir ese efecto con el metodo de Cochrane-Orcutt paquete “orcutt” en R.

Se ejecuta la función cochrane.orcutt() sobre el modelo de regresión

• coch1 <- cochrane.orcutt(modelo)
• coch1

El output muestra como se ajustan los coeficiente y cambia el valor del test Durbin-Watson

R^2. De los residuos se calcula el Coeficiente de Determinación R2:

Este coeficiente determina Cuánto es la proporción de la varianza de la v. dependiente explicada por las v. independientes.

El R2 va de 0 (el modelo no explica la varianza de la v. dependiente) a 1 (el modelo explica toda la varianza de la v. dependiente).

SIGNIFICACIÓN DEL MODELO

El modelo de regresión también presenta un valor F y un p-value, que representa la significación del modelo completo.

Usaremos la variable Peso en Kilogramos (wgt) como independiente y la variable talla (ht) en cms de la base base_enca2014_200.xlsx

Primero calculamos la correlación para tener idea del nivel de asociación entre las variables

Observamos que la correlación entre ambas es de 0.445 y a pesar que podemos considerarla moderada, es significativa porque su p-valor es menor a 0.05

Procedemos a calcular los coeficientes de la regresion lineal

\[b=\frac{11616.4}{41011.3}=0.283 \hspace{2em} a=158.4-(0.283*72.2)=138.210\]

\[Ecuación \hspace{0.5em} de \hspace{0.5em} Regresión: \hspace{0.5em}y = 158.4+(0.283*x) \]

Revisamos la salida de R

A partir de la Suma Cuadrados de los residuos: \(\sum(y-y_e)^2\) y Total: \(\sum y^2-(\frac{(\sum y)^2}{n})\) , podemos construir la tabla de ANOVA del modelo

Observamos que el valor F, es el mismo que arroja la salida de R, así como su p-valor

Verificamos los supuestos

Revisamos gráficamente

Otra forma de ver los residuos

Dado que se ha detectado la heterocedasticidad, intentaremos realizar el ajuste ponderado.

Específicamente realizaremos los mínimos cuadrados ponderados definiendo los pesos de tal manera que se dé más peso a las observaciones con menor varianza.

Es decir, realizaremos una nueva regresión donde se ponderan las observaciónes en función de las varianzas.

Vemos como se ha corregido la heterocedasticidad al correr nuevamente el test de Breusch-Pagan en el nuevo modelo de regresión ponderado

Revisamos el nuevo modelo

A partir de la salida, podemos ver que la estimación del coeficiente para la variable predictora wgt cambió un poco y el ajuste general del modelo mejoró.

El modelo de mínimos cuadrados ponderados tiene un error estándar residual de 1,19 en comparación con 8.502 en el original simple modelo de regresión lineal.

Esto indica que los valores predichos producidos por el modelo de mínimos cuadrados ponderados están mucho más cerca de las observaciones reales en comparación con los valores predichos producidos por el modelo de regresión lineal simple.

El modelo de mínimos cuadrados ponderados también tiene un R-cuadrado de 0.19 en comparación con 0.18 en el modelo de regresión lineal simple original.

Finalmente realizamos el gráfico de dispersión